Skill-RM: Unifying Heterogeneous Evaluation Criteria via Agent Skill
Skill-RM:将异构评估标准统一为 Agent 技能的奖励模型
🧭 统一异构评估标准的 Agent 技能式奖励建模 ★ 深度解读
Alibaba · Sun Yat-sen University · The Chinese University of Hong Kong · Peking University · ETH Zürich
将奖励建模重构为可复用的 Reward-Evaluation 技能,通过过程化资源编排统一异构评估标准
📌 工作参考价值(4 点)
- 技能化评估架构:将评估逻辑封装为可复用技能(SKILL.md + 资源银行),适用于电商推荐中多维度打分(相关性、多样性、合规等)的统一编排,避免每次评估都从零开始构建提示。
- 动态资源选择与证据链:根据评估场景(如新品冷启动、大促活动)动态启用不同验证器(销量预测、内容审核、AB测试结果),使评估过程自适应且可追溯,可用于推荐理由审核或 A/B 分析。
- 可解释的奖励信号:结构化证据字段(criterion-level evidence)使得最终得分可逐项追踪,在 Agent 多智体协作中可将“为什么判为不合格”的推理过程暴露给下游模块,提升系统透明度。
- 工程实现借鉴:技能包以文件系统形式组织(SKILL.md + 脚本/规则/验证器),可轻松集成到现有 Agent 框架(如 LangChain、AutoGen)中,实现评估流程的模块化、版本管理和渐进式披露(progressive disclosure)。